{
 "cells": [
  {
   "cell_type": "code",
   "outputs": [],
   "source": [
    "import re\n",
    "import pandas as pd\n",
    "from queue import Queue"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T14:05:33.713729200Z",
     "start_time": "2024-06-20T14:05:33.701214700Z"
    }
   },
   "id": "c53103d34f3def27",
   "execution_count": 22
  },
  {
   "cell_type": "code",
   "outputs": [],
   "source": [
    "combined_df=pd.read_csv('shanghai_error_java.csv')"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T13:57:29.238036400Z",
     "start_time": "2024-06-20T13:57:29.135013300Z"
    }
   },
   "id": "b7d893ada9d405fb",
   "execution_count": 18
  },
  {
   "cell_type": "code",
   "outputs": [],
   "source": [
    "intro=combined_df['job_description']"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T13:57:49.742126200Z",
     "start_time": "2024-06-20T13:57:49.728613600Z"
    }
   },
   "id": "f055b8becc61010",
   "execution_count": 20
  },
  {
   "cell_type": "code",
   "outputs": [
    {
     "data": {
      "text/plain": "0       工作职责：\\n1、负责海外信贷业务相关系统设计、研发、迭代；\\n2、协助业务需求分析，将业务...\n1       软件开发工程师\\n\\n岗位职责:\\n1、 负责系统开发、部署和集成，解决开发过程中的技术问题...\n2       【岗位职责】\\n1、对接产品需求，独立进行产品的概要设计、详细设计和代码实现工作\\n2、解决...\n3       岗位要求:\\n计算机及相关专业，大学本科以上学历，5 年以上开发经验\\n1.精通java 语...\n4       1、理解架构师的职责和架构设计的目标、原则及取舍；\\n2、精通架构模式，IOC、AOP、SO...\n                              ...                        \n3480    1. 熟练掌握java编程语言\\n2. 熟练使用常用的java框架，如Spring,Myba...\n3481    岗位职责：\\n1、企业内部前端及后端服务的开发；\\n 2、根据系统的功能需求和技术规格进行编...\n3482    岗位职责：\\r\\n\\r\\n1、理解业务，识别需求，负责/参与技术架构设计、重构、优化，根据业...\n3483    工作职责:\\n该职位需要提供技术解决方案，作为ALM相关活动的整体PMT解决方案的一部分。\\...\n3484    大厂，高并发等经验优先考虑\\n1. 深度参与大模型平台的基础架构和产品化研发,并部署到多个数...\nName: job_description, Length: 3485, dtype: object"
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "intro"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T13:57:50.110832600Z",
     "start_time": "2024-06-20T13:57:50.100319300Z"
    }
   },
   "id": "b0278db7a0a5c4ea",
   "execution_count": 21
  },
  {
   "cell_type": "code",
   "outputs": [],
   "source": [
    "# 创建一个队列\n",
    "intro_queue = Queue()\n",
    "output_queue = Queue()"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T14:12:30.425570300Z",
     "start_time": "2024-06-20T14:12:30.405037100Z"
    }
   },
   "id": "cf6b7ce57d268bde",
   "execution_count": 43
  },
  {
   "cell_type": "code",
   "outputs": [],
   "source": [
    "# 遍历DataFrame，将'job_description'列的值及其对应的索引放入队列\n",
    "for index, row in combined_df.iterrows():\n",
    "    intro_queue.put((index, row['job_description']))"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T14:12:31.772333500Z",
     "start_time": "2024-06-20T14:12:31.638089Z"
    }
   },
   "id": "1c887514fb051b6c",
   "execution_count": 44
  },
  {
   "cell_type": "code",
   "outputs": [
    {
     "data": {
      "text/plain": "\"【岗位职责】\\n1、对接产品需求，独立进行产品的概要设计、详细设计和代码实现工作\\n2、解决产品中研发、测试上线中的技术问题，并持续的优化\\n3、负责核心代码、框架代码、公共代码的研发和团队成员的工作指导\\n4、编写和制定技术方案，支持客户项目的技术方案需要\\n\\n【岗位要求】\\n0、有独立项目开发经验，在项目中担任后台JAVA主要程序员\\n1、精通Java技术，掌握Spring，SpringBoot等开发框架;\\n2、精通SQL，熟悉mysql、postgresql, redis的使用\\n3、熟悉Tomcat等中间件，对JVM有一定的了解，具有较好问题定位和解决能力\\n4、具有良好设计能力，能够使用常见的交互设计、模型设计、服务设计工具\\n6、熟悉ES、熟悉常用算法优先\\n7、熟悉kafka、zookeeper等中间件者优先\\n岗位要求：['分布式技术', 'SpringBoot', 'Redis', '后端开发']\\n岗位福利：['五险一金']\""
     },
     "execution_count": 45,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "intro_queue.queue[2][1]"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T14:12:32.270521900Z",
     "start_time": "2024-06-20T14:12:32.254491700Z"
    }
   },
   "id": "3fa866322c9a00ce",
   "execution_count": 45
  },
  {
   "cell_type": "code",
   "outputs": [],
   "source": [
    "input_str=intro_queue.queue[2]"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T14:10:08.297532500Z",
     "start_time": "2024-06-20T14:10:08.285012600Z"
    }
   },
   "id": "50b2deaed78dea94",
   "execution_count": 39
  },
  {
   "cell_type": "code",
   "outputs": [],
   "source": [
    "import random\n",
    "from http import HTTPStatus\n",
    "from dashscope import Generation  # 建议dashscope SDK 的版本 >= 1.14.0\n",
    "\n",
    "\n",
    "def touyi(input_idx_str):\n",
    "    input_idx=input_idx_str[0]\n",
    "    input_str=input_idx_str[1]\n",
    "    messages = [{'role': 'system', 'content': '这个工作的技术要求，工作领域，角色定位，工作经验是什么 ？技术要求我只需要列出所有可能需要的技术，工作领域简化成一个短语，角色定位简化成一个短语，工作经验为一个短语。结果尽量简洁。'},\n",
    "                {'role': 'user', 'content':input_str}]\n",
    "    response = Generation.call(model=\"qwen-turbo\",\n",
    "                               messages=messages,\n",
    "                               # 设置随机数种子seed，如果没有设置，则随机数种子默认为1234\n",
    "                               seed=random.randint(1, 10000),\n",
    "                               api_key='sk-005abb5377da47c4a3d40bbc68323235',\n",
    "                               # 将输出设置为\"message\"格式\n",
    "                               result_format='message')\n",
    "    if response.status_code == HTTPStatus.OK:\n",
    "        print(response)\n",
    "        test_str=response[\"output\"][\"choices\"][0][\"message\"][\"content\"]\n",
    "        # 定义正则表达式模式\n",
    "        pattern = re.compile(r'技术要求：(.*?)\\n工作领域：(.*?)\\n角色定位：(.*?)\\n工作经验：(.*?)(?=\\n|$)', re.S)\n",
    "        \n",
    "        # 在文本中查找匹配项\n",
    "        match = pattern.search(test_str)\n",
    "        \n",
    "        if match:\n",
    "            # 提取匹配到的各个部分\n",
    "            tech_requirement = match.group(1).strip()  # 技术要求\n",
    "            work_field = match.group(2).strip()       # 工作领域\n",
    "            role_position = match.group(3).strip()    # 角色定位\n",
    "            experience = match.group(4).strip()       # 工作经验\n",
    "        \n",
    "            # 打印结果\n",
    "            print(f\"技术要求：{tech_requirement}\")\n",
    "            print(f\"工作领域：{work_field}\")\n",
    "            print(f\"角色定位：{role_position}\")\n",
    "            print(f\"工作经验：{experience}\")\n",
    "            \n",
    "            output_queue.put((input_idx, tech_requirement, work_field, role_position, experience))\n",
    "        \n",
    "    else:\n",
    "        print('Request id: %s, Status code: %s, error code: %s, error message: %s' % (\n",
    "            response.request_id, response.status_code,\n",
    "            response.code, response.message\n",
    "        ))\n"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T14:15:48.247114300Z",
     "start_time": "2024-06-20T14:15:48.236601600Z"
    }
   },
   "id": "558ba3ccdda15486",
   "execution_count": 46
  },
  {
   "cell_type": "code",
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{\"status_code\": 200, \"request_id\": \"4a372690-85d4-9f9e-93cb-04015b7e3997\", \"code\": \"\", \"message\": \"\", \"output\": {\"text\": null, \"finish_reason\": null, \"choices\": [{\"finish_reason\": \"stop\", \"message\": {\"role\": \"assistant\", \"content\": \"技术要求：Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud）, 分布式缓存与消息队列, WABA产品经验优先\\n工作领域：海外信贷业务系统开发\\n角色定位：系统架构师/Java开发者\\n工作经验：5年以上Java开发经验，优先考虑有海外信贷或类似行业经验\"}}]}, \"usage\": {\"input_tokens\": 306, \"output_tokens\": 73, \"total_tokens\": 379}}\n",
      "技术要求：Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud）, 分布式缓存与消息队列, WABA产品经验优先\n",
      "工作领域：海外信贷业务系统开发\n",
      "角色定位：系统架构师/Java开发者\n",
      "工作经验：5年以上Java开发经验，优先考虑有海外信贷或类似行业经验\n"
     ]
    }
   ],
   "source": [
    "touyi(intro_queue.get())"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T14:16:14.199257100Z",
     "start_time": "2024-06-20T14:16:11.958631700Z"
    }
   },
   "id": "cc380aa359467e35",
   "execution_count": 47
  },
  {
   "cell_type": "code",
   "outputs": [],
   "source": [
    "output_data=output_queue.queue[0]"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T14:27:02.947360200Z",
     "start_time": "2024-06-20T14:27:02.932333500Z"
    }
   },
   "id": "7f7f0bb8881aa1a2",
   "execution_count": 60
  },
  {
   "cell_type": "code",
   "outputs": [],
   "source": [
    "temp_dict={ \n",
    "        'Index': 3,\n",
    "        'Skills': output_data[1],\n",
    "        'Project': output_data[2],\n",
    "        'Role': output_data[3],\n",
    "        'Experience': output_data[4]\n",
    "}"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T14:32:22.974358700Z",
     "start_time": "2024-06-20T14:32:22.924568800Z"
    }
   },
   "id": "5ebdff58b7f7710a",
   "execution_count": 84
  },
  {
   "cell_type": "code",
   "outputs": [],
   "source": [
    "data_dict=[]\n"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T14:30:20.523930400Z",
     "start_time": "2024-06-20T14:30:20.503904300Z"
    }
   },
   "id": "a7a954b10a94c31a",
   "execution_count": 77
  },
  {
   "cell_type": "code",
   "outputs": [],
   "source": [
    "data_dict.append(temp_dict)"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T14:32:24.979963800Z",
     "start_time": "2024-06-20T14:32:24.965444300Z"
    }
   },
   "id": "c9436ef41d808cdd",
   "execution_count": 85
  },
  {
   "cell_type": "code",
   "outputs": [
    {
     "data": {
      "text/plain": "[{'Index': 0,\n  'Skills': 'Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud）, 分布式缓存与消息队列, WABA产品经验优先',\n  'Project': '海外信贷业务系统开发',\n  'Role': '系统架构师/Java开发者',\n  'Experience': '5年以上Java开发经验，优先考虑有海外信贷或类似行业经验'},\n {'Index': 1,\n  'Skills': 'Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud）, 分布式缓存与消息队列, WABA产品经验优先',\n  'Project': '海外信贷业务系统开发',\n  'Role': '系统架构师/Java开发者',\n  'Experience': '5年以上Java开发经验，优先考虑有海外信贷或类似行业经验'},\n {'Index': 3,\n  'Skills': 'Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud）, 分布式缓存与消息队列, WABA产品经验优先',\n  'Project': '海外信贷业务系统开发',\n  'Role': '系统架构师/Java开发者',\n  'Experience': '5年以上Java开发经验，优先考虑有海外信贷或类似行业经验'}]"
     },
     "execution_count": 86,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data_dict"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T14:32:25.142003400Z",
     "start_time": "2024-06-20T14:32:25.129477600Z"
    }
   },
   "id": "b17c7db856e9b3e4",
   "execution_count": 86
  },
  {
   "cell_type": "code",
   "outputs": [],
   "source": [
    "# 将新数据转换为DataFrame\n",
    "new_data_df = pd.DataFrame(data_dict)"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T14:32:27.209525200Z",
     "start_time": "2024-06-20T14:32:27.193014800Z"
    }
   },
   "id": "b4178b191b463377",
   "execution_count": 87
  },
  {
   "cell_type": "code",
   "outputs": [
    {
     "data": {
      "text/plain": "   Index                                             Skills     Project  \\\n0      0  Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud...  海外信贷业务系统开发   \n1      1  Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud...  海外信贷业务系统开发   \n2      3  Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud...  海外信贷业务系统开发   \n\n            Role                     Experience  \n0  系统架构师/Java开发者  5年以上Java开发经验，优先考虑有海外信贷或类似行业经验  \n1  系统架构师/Java开发者  5年以上Java开发经验，优先考虑有海外信贷或类似行业经验  \n2  系统架构师/Java开发者  5年以上Java开发经验，优先考虑有海外信贷或类似行业经验  ",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>Index</th>\n      <th>Skills</th>\n      <th>Project</th>\n      <th>Role</th>\n      <th>Experience</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>0</th>\n      <td>0</td>\n      <td>Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud...</td>\n      <td>海外信贷业务系统开发</td>\n      <td>系统架构师/Java开发者</td>\n      <td>5年以上Java开发经验，优先考虑有海外信贷或类似行业经验</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>1</td>\n      <td>Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud...</td>\n      <td>海外信贷业务系统开发</td>\n      <td>系统架构师/Java开发者</td>\n      <td>5年以上Java开发经验，优先考虑有海外信贷或类似行业经验</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>3</td>\n      <td>Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud...</td>\n      <td>海外信贷业务系统开发</td>\n      <td>系统架构师/Java开发者</td>\n      <td>5年以上Java开发经验，优先考虑有海外信贷或类似行业经验</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "execution_count": 88,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "new_data_df"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T14:32:27.410990300Z",
     "start_time": "2024-06-20T14:32:27.386454600Z"
    }
   },
   "id": "4458401b345d70ca",
   "execution_count": 88
  },
  {
   "cell_type": "code",
   "outputs": [],
   "source": [
    "new_data_df.set_index('Index', inplace=True, drop=True)"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T14:32:45.875763100Z",
     "start_time": "2024-06-20T14:32:45.857707900Z"
    }
   },
   "id": "15b465dba2934b0d",
   "execution_count": 89
  },
  {
   "cell_type": "code",
   "outputs": [
    {
     "data": {
      "text/plain": "                                                  Skills     Project  \\\nIndex                                                                  \n0      Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud...  海外信贷业务系统开发   \n1      Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud...  海外信贷业务系统开发   \n3      Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud...  海外信贷业务系统开发   \n\n                Role                     Experience  \nIndex                                                \n0      系统架构师/Java开发者  5年以上Java开发经验，优先考虑有海外信贷或类似行业经验  \n1      系统架构师/Java开发者  5年以上Java开发经验，优先考虑有海外信贷或类似行业经验  \n3      系统架构师/Java开发者  5年以上Java开发经验，优先考虑有海外信贷或类似行业经验  ",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>Skills</th>\n      <th>Project</th>\n      <th>Role</th>\n      <th>Experience</th>\n    </tr>\n    <tr>\n      <th>Index</th>\n      <th></th>\n      <th></th>\n      <th></th>\n      <th></th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>0</th>\n      <td>Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud...</td>\n      <td>海外信贷业务系统开发</td>\n      <td>系统架构师/Java开发者</td>\n      <td>5年以上Java开发经验，优先考虑有海外信贷或类似行业经验</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud...</td>\n      <td>海外信贷业务系统开发</td>\n      <td>系统架构师/Java开发者</td>\n      <td>5年以上Java开发经验，优先考虑有海外信贷或类似行业经验</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud...</td>\n      <td>海外信贷业务系统开发</td>\n      <td>系统架构师/Java开发者</td>\n      <td>5年以上Java开发经验，优先考虑有海外信贷或类似行业经验</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "execution_count": 90,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "new_data_df"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T14:32:48.908563300Z",
     "start_time": "2024-06-20T14:32:48.889527300Z"
    }
   },
   "id": "4d5f759657362663",
   "execution_count": 90
  },
  {
   "cell_type": "code",
   "outputs": [
    {
     "data": {
      "text/plain": "     company_brief_address       company_detailed_address hr_name  \\\n0                  上海虹口区江湾           上海虹口区瑞虹天地瑞虹企业天地2号写字楼     张女士   \n1                 上海虹口区大柏树            上海虹口区复城国际910号大楼1108     黄翔煊   \n2                上海虹口区四川北路   上海虹口区耀江国际广场虹口区吴淞路308号2号楼2503     严先生   \n3                       上海              上海虹口区北外滩来福士办公楼东塔1     李先生   \n4                上海虹口区四川北路       上海虹口区上海同威数码科技有限公司3幢3201室     傅荣斌   \n...                    ...                            ...     ...   \n3480               上海黄浦区外滩                上海黄浦区绿地外滩中心T3楼1      孙晶   \n3481              上海黄浦区城隍庙      上海黄浦区久事大厦-附楼中山南路28号久事大厦附楼     刘女士   \n3482               上海宝山区大华  上海上海市静安区晋城路435号晋城路435号二楼慷泰桐公司      王莹   \n3483               上海黄浦区外滩                      上海黄浦区海洋大厦     李诗雯   \n3484                    上海    上海黄浦区上海新天地(马当路)SOHO复兴广场c栋2楼     盖女士   \n\n             job_tags                  job_title  job_salary company_name  \\\n0     ['5-10年', '本科']                    后端开发工程师  30-40K·15薪         慧安金科   \n1      ['1-3年', '本科']                       Java       5-10K         中汇云链   \n2      ['3-5年', '大专']                Java高级开发工程师      17-28K           熵央   \n3      ['3-5年', '本科']                     JAVA开发      15-25K      某知名物流公司   \n4     ['5-10年', '本科']                Java高级开发工程师      12-20K           同威   \n...               ...                        ...         ...          ...   \n3480  ['5-10年', '本科']                上海Java开发工程师      10-13K         易商数智   \n3481  ['5-10年', '大专']             java开发工程师(中高级)      15-20K           海魄   \n3482  ['5-10年', '大专']              Java高级工程师/架构师      15-20K          慷泰桐   \n3483   ['3-5年', '本科']  CodeBeamer二次开发工程师(J10627)  15-20K·14薪          爱达克   \n3484  ['5-10年', '本科']                java后端开发工程师  35-65K·15薪    某500强上市公司   \n\n                                          company_intro company_status  \\\n0     慧安金科成立于2017年3月，作为人工智能风险管理服务行业的引领者，慧安金科利用自主研发的半...             B轮   \n1     中汇云链是行业领先的物联网金融科技公司，总部位于上海。公司深耕物联网金融这一风口行业，成功开...          不需要融资   \n2                                                   NaN          不需要融资   \n3     美设国际物流集团是一家自创始以来，就从未停止追求卓越服务品质的国际物流公司。\\n从成立开始，...            未融资   \n4                                                   NaN            NaN   \n...                                                 ...            ...   \n3480  天津易商数智科技有限公司，脱胎于2008年创建的易商数科，十五年专注保险行业的数字化转型，以...          不需要融资   \n3481  上海海魄信息科技有限公司 简称“海魄科技”新三板上市，股票代码：830890 \\r\\n\\r\\...             A轮   \n3482  上海慷泰桐信息科技有限公司是一家创新型智能信息化养老服务供应商，公司秉着“智能养老服务管家”...          不需要融资   \n3483  爱达克集团，1969年成立于德国富尔达，是全球独立工程设计公司之一。在汽车行业，“爱达克”是...            未融资   \n3484  小红书是一个生活方式平台和消费决策入口 [1-2]  ，创始人为毛文超和瞿芳。截至2019年...          D轮及以上   \n\n     company_size company_type  \\\n0          20-99人          互联网   \n1          20-99人        互联网金融   \n2          20-99人        计算机软件   \n3      1000-9999人        物流/仓储   \n4          20-99人        计算机软件   \n...           ...          ...   \n3480     500-999人        计算机软件   \n3481     100-499人        计算机软件   \n3482       20-99人         医疗健康   \n3483     100-499人        汽车零部件   \n3484   1000-9999人         电子商务   \n\n                                        job_description  \n0     工作职责：\\n1、负责海外信贷业务相关系统设计、研发、迭代；\\n2、协助业务需求分析，将业务...  \n1     软件开发工程师\\n\\n岗位职责:\\n1、 负责系统开发、部署和集成，解决开发过程中的技术问题...  \n2     【岗位职责】\\n1、对接产品需求，独立进行产品的概要设计、详细设计和代码实现工作\\n2、解决...  \n3     岗位要求:\\n计算机及相关专业，大学本科以上学历，5 年以上开发经验\\n1.精通java 语...  \n4     1、理解架构师的职责和架构设计的目标、原则及取舍；\\n2、精通架构模式，IOC、AOP、SO...  \n...                                                 ...  \n3480  1. 熟练掌握java编程语言\\n2. 熟练使用常用的java框架，如Spring,Myba...  \n3481  岗位职责：\\n1、企业内部前端及后端服务的开发；\\n 2、根据系统的功能需求和技术规格进行编...  \n3482  岗位职责：\\r\\n\\r\\n1、理解业务，识别需求，负责/参与技术架构设计、重构、优化，根据业...  \n3483  工作职责:\\n该职位需要提供技术解决方案，作为ALM相关活动的整体PMT解决方案的一部分。\\...  \n3484  大厂，高并发等经验优先考虑\\n1. 深度参与大模型平台的基础架构和产品化研发,并部署到多个数...  \n\n[3485 rows x 12 columns]",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>company_brief_address</th>\n      <th>company_detailed_address</th>\n      <th>hr_name</th>\n      <th>job_tags</th>\n      <th>job_title</th>\n      <th>job_salary</th>\n      <th>company_name</th>\n      <th>company_intro</th>\n      <th>company_status</th>\n      <th>company_size</th>\n      <th>company_type</th>\n      <th>job_description</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>0</th>\n      <td>上海虹口区江湾</td>\n      <td>上海虹口区瑞虹天地瑞虹企业天地2号写字楼</td>\n      <td>张女士</td>\n      <td>['5-10年', '本科']</td>\n      <td>后端开发工程师</td>\n      <td>30-40K·15薪</td>\n      <td>慧安金科</td>\n      <td>慧安金科成立于2017年3月，作为人工智能风险管理服务行业的引领者，慧安金科利用自主研发的半...</td>\n      <td>B轮</td>\n      <td>20-99人</td>\n      <td>互联网</td>\n      <td>工作职责：\\n1、负责海外信贷业务相关系统设计、研发、迭代；\\n2、协助业务需求分析，将业务...</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>上海虹口区大柏树</td>\n      <td>上海虹口区复城国际910号大楼1108</td>\n      <td>黄翔煊</td>\n      <td>['1-3年', '本科']</td>\n      <td>Java</td>\n      <td>5-10K</td>\n      <td>中汇云链</td>\n      <td>中汇云链是行业领先的物联网金融科技公司，总部位于上海。公司深耕物联网金融这一风口行业，成功开...</td>\n      <td>不需要融资</td>\n      <td>20-99人</td>\n      <td>互联网金融</td>\n      <td>软件开发工程师\\n\\n岗位职责:\\n1、 负责系统开发、部署和集成，解决开发过程中的技术问题...</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>上海虹口区四川北路</td>\n      <td>上海虹口区耀江国际广场虹口区吴淞路308号2号楼2503</td>\n      <td>严先生</td>\n      <td>['3-5年', '大专']</td>\n      <td>Java高级开发工程师</td>\n      <td>17-28K</td>\n      <td>熵央</td>\n      <td>NaN</td>\n      <td>不需要融资</td>\n      <td>20-99人</td>\n      <td>计算机软件</td>\n      <td>【岗位职责】\\n1、对接产品需求，独立进行产品的概要设计、详细设计和代码实现工作\\n2、解决...</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>上海</td>\n      <td>上海虹口区北外滩来福士办公楼东塔1</td>\n      <td>李先生</td>\n      <td>['3-5年', '本科']</td>\n      <td>JAVA开发</td>\n      <td>15-25K</td>\n      <td>某知名物流公司</td>\n      <td>美设国际物流集团是一家自创始以来，就从未停止追求卓越服务品质的国际物流公司。\\n从成立开始，...</td>\n      <td>未融资</td>\n      <td>1000-9999人</td>\n      <td>物流/仓储</td>\n      <td>岗位要求:\\n计算机及相关专业，大学本科以上学历，5 年以上开发经验\\n1.精通java 语...</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>上海虹口区四川北路</td>\n      <td>上海虹口区上海同威数码科技有限公司3幢3201室</td>\n      <td>傅荣斌</td>\n      <td>['5-10年', '本科']</td>\n      <td>Java高级开发工程师</td>\n      <td>12-20K</td>\n      <td>同威</td>\n      <td>NaN</td>\n      <td>NaN</td>\n      <td>20-99人</td>\n      <td>计算机软件</td>\n      <td>1、理解架构师的职责和架构设计的目标、原则及取舍；\\n2、精通架构模式，IOC、AOP、SO...</td>\n    </tr>\n    <tr>\n      <th>...</th>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n    </tr>\n    <tr>\n      <th>3480</th>\n      <td>上海黄浦区外滩</td>\n      <td>上海黄浦区绿地外滩中心T3楼1</td>\n      <td>孙晶</td>\n      <td>['5-10年', '本科']</td>\n      <td>上海Java开发工程师</td>\n      <td>10-13K</td>\n      <td>易商数智</td>\n      <td>天津易商数智科技有限公司，脱胎于2008年创建的易商数科，十五年专注保险行业的数字化转型，以...</td>\n      <td>不需要融资</td>\n      <td>500-999人</td>\n      <td>计算机软件</td>\n      <td>1. 熟练掌握java编程语言\\n2. 熟练使用常用的java框架，如Spring,Myba...</td>\n    </tr>\n    <tr>\n      <th>3481</th>\n      <td>上海黄浦区城隍庙</td>\n      <td>上海黄浦区久事大厦-附楼中山南路28号久事大厦附楼</td>\n      <td>刘女士</td>\n      <td>['5-10年', '大专']</td>\n      <td>java开发工程师(中高级)</td>\n      <td>15-20K</td>\n      <td>海魄</td>\n      <td>上海海魄信息科技有限公司 简称“海魄科技”新三板上市，股票代码：830890 \\r\\n\\r\\...</td>\n      <td>A轮</td>\n      <td>100-499人</td>\n      <td>计算机软件</td>\n      <td>岗位职责：\\n1、企业内部前端及后端服务的开发；\\n 2、根据系统的功能需求和技术规格进行编...</td>\n    </tr>\n    <tr>\n      <th>3482</th>\n      <td>上海宝山区大华</td>\n      <td>上海上海市静安区晋城路435号晋城路435号二楼慷泰桐公司</td>\n      <td>王莹</td>\n      <td>['5-10年', '大专']</td>\n      <td>Java高级工程师/架构师</td>\n      <td>15-20K</td>\n      <td>慷泰桐</td>\n      <td>上海慷泰桐信息科技有限公司是一家创新型智能信息化养老服务供应商，公司秉着“智能养老服务管家”...</td>\n      <td>不需要融资</td>\n      <td>20-99人</td>\n      <td>医疗健康</td>\n      <td>岗位职责：\\r\\n\\r\\n1、理解业务，识别需求，负责/参与技术架构设计、重构、优化，根据业...</td>\n    </tr>\n    <tr>\n      <th>3483</th>\n      <td>上海黄浦区外滩</td>\n      <td>上海黄浦区海洋大厦</td>\n      <td>李诗雯</td>\n      <td>['3-5年', '本科']</td>\n      <td>CodeBeamer二次开发工程师(J10627)</td>\n      <td>15-20K·14薪</td>\n      <td>爱达克</td>\n      <td>爱达克集团，1969年成立于德国富尔达，是全球独立工程设计公司之一。在汽车行业，“爱达克”是...</td>\n      <td>未融资</td>\n      <td>100-499人</td>\n      <td>汽车零部件</td>\n      <td>工作职责:\\n该职位需要提供技术解决方案，作为ALM相关活动的整体PMT解决方案的一部分。\\...</td>\n    </tr>\n    <tr>\n      <th>3484</th>\n      <td>上海</td>\n      <td>上海黄浦区上海新天地(马当路)SOHO复兴广场c栋2楼</td>\n      <td>盖女士</td>\n      <td>['5-10年', '本科']</td>\n      <td>java后端开发工程师</td>\n      <td>35-65K·15薪</td>\n      <td>某500强上市公司</td>\n      <td>小红书是一个生活方式平台和消费决策入口 [1-2]  ，创始人为毛文超和瞿芳。截至2019年...</td>\n      <td>D轮及以上</td>\n      <td>1000-9999人</td>\n      <td>电子商务</td>\n      <td>大厂，高并发等经验优先考虑\\n1. 深度参与大模型平台的基础架构和产品化研发,并部署到多个数...</td>\n    </tr>\n  </tbody>\n</table>\n<p>3485 rows × 12 columns</p>\n</div>"
     },
     "execution_count": 91,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "combined_df"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T14:33:37.101192500Z",
     "start_time": "2024-06-20T14:33:37.057616Z"
    }
   },
   "id": "781a2e7b7741d166",
   "execution_count": 91
  },
  {
   "cell_type": "code",
   "outputs": [],
   "source": [
    "combined_df=pd.read_csv('shanghai_java_annual_salary.csv')"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T14:43:50.601990Z",
     "start_time": "2024-06-20T14:43:50.527294300Z"
    }
   },
   "id": "d79c661ed80e6373",
   "execution_count": 94
  },
  {
   "cell_type": "code",
   "outputs": [
    {
     "data": {
      "text/plain": "      job_id  company_id company_name                  job_title hr_name  \\\n0          1           1         慧安金科                    后端开发工程师     张女士   \n1          2           2         中汇云链                       Java     黄翔煊   \n2          3           3           熵央                Java高级开发工程师     严先生   \n3          4           4      某知名物流公司                     JAVA开发     李先生   \n4          5           5           同威                Java高级开发工程师     傅荣斌   \n...      ...         ...          ...                        ...     ...   \n3459    3481        3064         易商数智                上海Java开发工程师      孙晶   \n3460    3482        2867           海魄             java开发工程师(中高级)     刘女士   \n3461    3483        3065          慷泰桐              Java高级工程师/架构师      王莹   \n3462    3484        3066          爱达克  CodeBeamer二次开发工程师(J10627)     李诗雯   \n3463    3485        2926    某500强上市公司                java后端开发工程师     盖女士   \n\n      job_salary  annual_salary  \\\n0     30-40K·15薪          525.0   \n1          5-10K           90.0   \n2         17-28K          270.0   \n3         15-25K          240.0   \n4         12-20K          192.0   \n...          ...            ...   \n3459      10-13K          138.0   \n3460      15-20K          210.0   \n3461      15-20K          210.0   \n3462  15-20K·14薪          245.0   \n3463  35-65K·15薪          750.0   \n\n                                        job_description company_brief_address  \\\n0     工作职责：\\n1、负责海外信贷业务相关系统设计、研发、迭代；\\n2、协助业务需求分析，将业务...               上海虹口区江湾   \n1     软件开发工程师\\n\\n岗位职责:\\n1、 负责系统开发、部署和集成，解决开发过程中的技术问题...              上海虹口区大柏树   \n2     【岗位职责】\\n1、对接产品需求，独立进行产品的概要设计、详细设计和代码实现工作\\n2、解决...             上海虹口区四川北路   \n3     岗位要求:\\n计算机及相关专业，大学本科以上学历，5 年以上开发经验\\n1.精通java 语...                    上海   \n4     1、理解架构师的职责和架构设计的目标、原则及取舍；\\n2、精通架构模式，IOC、AOP、SO...             上海虹口区四川北路   \n...                                                 ...                   ...   \n3459  1. 熟练掌握java编程语言\\n2. 熟练使用常用的java框架，如Spring,Myba...               上海黄浦区外滩   \n3460  岗位职责：\\n1、企业内部前端及后端服务的开发；\\n 2、根据系统的功能需求和技术规格进行编...              上海黄浦区城隍庙   \n3461  岗位职责：\\r\\n\\r\\n1、理解业务，识别需求，负责/参与技术架构设计、重构、优化，根据业...               上海宝山区大华   \n3462  工作职责:\\n该职位需要提供技术解决方案，作为ALM相关活动的整体PMT解决方案的一部分。\\...               上海黄浦区外滩   \n3463  大厂，高并发等经验优先考虑\\n1. 深度参与大模型平台的基础架构和产品化研发,并部署到多个数...                    上海   \n\n      deleted     资历  学历  tags  \n0           0  5-10年  本科  java  \n1           0   1-3年  本科  java  \n2           0   3-5年  大专  java  \n3           0   3-5年  本科  java  \n4           0  5-10年  本科  java  \n...       ...    ...  ..   ...  \n3459        0  5-10年  本科  java  \n3460        0  5-10年  大专  java  \n3461        0  5-10年  大专  java  \n3462        0   3-5年  本科  java  \n3463        0  5-10年  本科  java  \n\n[3464 rows x 13 columns]",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>job_id</th>\n      <th>company_id</th>\n      <th>company_name</th>\n      <th>job_title</th>\n      <th>hr_name</th>\n      <th>job_salary</th>\n      <th>annual_salary</th>\n      <th>job_description</th>\n      <th>company_brief_address</th>\n      <th>deleted</th>\n      <th>资历</th>\n      <th>学历</th>\n      <th>tags</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>0</th>\n      <td>1</td>\n      <td>1</td>\n      <td>慧安金科</td>\n      <td>后端开发工程师</td>\n      <td>张女士</td>\n      <td>30-40K·15薪</td>\n      <td>525.0</td>\n      <td>工作职责：\\n1、负责海外信贷业务相关系统设计、研发、迭代；\\n2、协助业务需求分析，将业务...</td>\n      <td>上海虹口区江湾</td>\n      <td>0</td>\n      <td>5-10年</td>\n      <td>本科</td>\n      <td>java</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>2</td>\n      <td>2</td>\n      <td>中汇云链</td>\n      <td>Java</td>\n      <td>黄翔煊</td>\n      <td>5-10K</td>\n      <td>90.0</td>\n      <td>软件开发工程师\\n\\n岗位职责:\\n1、 负责系统开发、部署和集成，解决开发过程中的技术问题...</td>\n      <td>上海虹口区大柏树</td>\n      <td>0</td>\n      <td>1-3年</td>\n      <td>本科</td>\n      <td>java</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>3</td>\n      <td>3</td>\n      <td>熵央</td>\n      <td>Java高级开发工程师</td>\n      <td>严先生</td>\n      <td>17-28K</td>\n      <td>270.0</td>\n      <td>【岗位职责】\\n1、对接产品需求，独立进行产品的概要设计、详细设计和代码实现工作\\n2、解决...</td>\n      <td>上海虹口区四川北路</td>\n      <td>0</td>\n      <td>3-5年</td>\n      <td>大专</td>\n      <td>java</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>4</td>\n      <td>4</td>\n      <td>某知名物流公司</td>\n      <td>JAVA开发</td>\n      <td>李先生</td>\n      <td>15-25K</td>\n      <td>240.0</td>\n      <td>岗位要求:\\n计算机及相关专业，大学本科以上学历，5 年以上开发经验\\n1.精通java 语...</td>\n      <td>上海</td>\n      <td>0</td>\n      <td>3-5年</td>\n      <td>本科</td>\n      <td>java</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>5</td>\n      <td>5</td>\n      <td>同威</td>\n      <td>Java高级开发工程师</td>\n      <td>傅荣斌</td>\n      <td>12-20K</td>\n      <td>192.0</td>\n      <td>1、理解架构师的职责和架构设计的目标、原则及取舍；\\n2、精通架构模式，IOC、AOP、SO...</td>\n      <td>上海虹口区四川北路</td>\n      <td>0</td>\n      <td>5-10年</td>\n      <td>本科</td>\n      <td>java</td>\n    </tr>\n    <tr>\n      <th>...</th>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n    </tr>\n    <tr>\n      <th>3459</th>\n      <td>3481</td>\n      <td>3064</td>\n      <td>易商数智</td>\n      <td>上海Java开发工程师</td>\n      <td>孙晶</td>\n      <td>10-13K</td>\n      <td>138.0</td>\n      <td>1. 熟练掌握java编程语言\\n2. 熟练使用常用的java框架，如Spring,Myba...</td>\n      <td>上海黄浦区外滩</td>\n      <td>0</td>\n      <td>5-10年</td>\n      <td>本科</td>\n      <td>java</td>\n    </tr>\n    <tr>\n      <th>3460</th>\n      <td>3482</td>\n      <td>2867</td>\n      <td>海魄</td>\n      <td>java开发工程师(中高级)</td>\n      <td>刘女士</td>\n      <td>15-20K</td>\n      <td>210.0</td>\n      <td>岗位职责：\\n1、企业内部前端及后端服务的开发；\\n 2、根据系统的功能需求和技术规格进行编...</td>\n      <td>上海黄浦区城隍庙</td>\n      <td>0</td>\n      <td>5-10年</td>\n      <td>大专</td>\n      <td>java</td>\n    </tr>\n    <tr>\n      <th>3461</th>\n      <td>3483</td>\n      <td>3065</td>\n      <td>慷泰桐</td>\n      <td>Java高级工程师/架构师</td>\n      <td>王莹</td>\n      <td>15-20K</td>\n      <td>210.0</td>\n      <td>岗位职责：\\r\\n\\r\\n1、理解业务，识别需求，负责/参与技术架构设计、重构、优化，根据业...</td>\n      <td>上海宝山区大华</td>\n      <td>0</td>\n      <td>5-10年</td>\n      <td>大专</td>\n      <td>java</td>\n    </tr>\n    <tr>\n      <th>3462</th>\n      <td>3484</td>\n      <td>3066</td>\n      <td>爱达克</td>\n      <td>CodeBeamer二次开发工程师(J10627)</td>\n      <td>李诗雯</td>\n      <td>15-20K·14薪</td>\n      <td>245.0</td>\n      <td>工作职责:\\n该职位需要提供技术解决方案，作为ALM相关活动的整体PMT解决方案的一部分。\\...</td>\n      <td>上海黄浦区外滩</td>\n      <td>0</td>\n      <td>3-5年</td>\n      <td>本科</td>\n      <td>java</td>\n    </tr>\n    <tr>\n      <th>3463</th>\n      <td>3485</td>\n      <td>2926</td>\n      <td>某500强上市公司</td>\n      <td>java后端开发工程师</td>\n      <td>盖女士</td>\n      <td>35-65K·15薪</td>\n      <td>750.0</td>\n      <td>大厂，高并发等经验优先考虑\\n1. 深度参与大模型平台的基础架构和产品化研发,并部署到多个数...</td>\n      <td>上海</td>\n      <td>0</td>\n      <td>5-10年</td>\n      <td>本科</td>\n      <td>java</td>\n    </tr>\n  </tbody>\n</table>\n<p>3464 rows × 13 columns</p>\n</div>"
     },
     "execution_count": 95,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "combined_df"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T14:43:53.882393Z",
     "start_time": "2024-06-20T14:43:53.838716900Z"
    }
   },
   "id": "d7789d189383b691",
   "execution_count": 95
  },
  {
   "cell_type": "code",
   "outputs": [],
   "source": [
    "# 使用merge函数按索引列进行外连接合并\n",
    "merged_df = pd.merge(combined_df, new_data_df, how='outer', left_index=True, right_index=True)"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T14:44:07.733743300Z",
     "start_time": "2024-06-20T14:44:07.715227100Z"
    }
   },
   "id": "4186bd9aa87c5dee",
   "execution_count": 96
  },
  {
   "cell_type": "code",
   "outputs": [
    {
     "data": {
      "text/plain": "      job_id  company_id company_name                  job_title hr_name  \\\n0          1           1         慧安金科                    后端开发工程师     张女士   \n1          2           2         中汇云链                       Java     黄翔煊   \n2          3           3           熵央                Java高级开发工程师     严先生   \n3          4           4      某知名物流公司                     JAVA开发     李先生   \n4          5           5           同威                Java高级开发工程师     傅荣斌   \n...      ...         ...          ...                        ...     ...   \n3459    3481        3064         易商数智                上海Java开发工程师      孙晶   \n3460    3482        2867           海魄             java开发工程师(中高级)     刘女士   \n3461    3483        3065          慷泰桐              Java高级工程师/架构师      王莹   \n3462    3484        3066          爱达克  CodeBeamer二次开发工程师(J10627)     李诗雯   \n3463    3485        2926    某500强上市公司                java后端开发工程师     盖女士   \n\n      job_salary  annual_salary  \\\n0     30-40K·15薪          525.0   \n1          5-10K           90.0   \n2         17-28K          270.0   \n3         15-25K          240.0   \n4         12-20K          192.0   \n...          ...            ...   \n3459      10-13K          138.0   \n3460      15-20K          210.0   \n3461      15-20K          210.0   \n3462  15-20K·14薪          245.0   \n3463  35-65K·15薪          750.0   \n\n                                        job_description company_brief_address  \\\n0     工作职责：\\n1、负责海外信贷业务相关系统设计、研发、迭代；\\n2、协助业务需求分析，将业务...               上海虹口区江湾   \n1     软件开发工程师\\n\\n岗位职责:\\n1、 负责系统开发、部署和集成，解决开发过程中的技术问题...              上海虹口区大柏树   \n2     【岗位职责】\\n1、对接产品需求，独立进行产品的概要设计、详细设计和代码实现工作\\n2、解决...             上海虹口区四川北路   \n3     岗位要求:\\n计算机及相关专业，大学本科以上学历，5 年以上开发经验\\n1.精通java 语...                    上海   \n4     1、理解架构师的职责和架构设计的目标、原则及取舍；\\n2、精通架构模式，IOC、AOP、SO...             上海虹口区四川北路   \n...                                                 ...                   ...   \n3459  1. 熟练掌握java编程语言\\n2. 熟练使用常用的java框架，如Spring,Myba...               上海黄浦区外滩   \n3460  岗位职责：\\n1、企业内部前端及后端服务的开发；\\n 2、根据系统的功能需求和技术规格进行编...              上海黄浦区城隍庙   \n3461  岗位职责：\\r\\n\\r\\n1、理解业务，识别需求，负责/参与技术架构设计、重构、优化，根据业...               上海宝山区大华   \n3462  工作职责:\\n该职位需要提供技术解决方案，作为ALM相关活动的整体PMT解决方案的一部分。\\...               上海黄浦区外滩   \n3463  大厂，高并发等经验优先考虑\\n1. 深度参与大模型平台的基础架构和产品化研发,并部署到多个数...                    上海   \n\n      deleted     资历  学历  tags  \\\n0           0  5-10年  本科  java   \n1           0   1-3年  本科  java   \n2           0   3-5年  大专  java   \n3           0   3-5年  本科  java   \n4           0  5-10年  本科  java   \n...       ...    ...  ..   ...   \n3459        0  5-10年  本科  java   \n3460        0  5-10年  大专  java   \n3461        0  5-10年  大专  java   \n3462        0   3-5年  本科  java   \n3463        0  5-10年  本科  java   \n\n                                                 Skills     Project  \\\n0     Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud...  海外信贷业务系统开发   \n1     Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud...  海外信贷业务系统开发   \n2                                                   NaN         NaN   \n3     Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud...  海外信贷业务系统开发   \n4                                                   NaN         NaN   \n...                                                 ...         ...   \n3459                                                NaN         NaN   \n3460                                                NaN         NaN   \n3461                                                NaN         NaN   \n3462                                                NaN         NaN   \n3463                                                NaN         NaN   \n\n               Role                     Experience  \n0     系统架构师/Java开发者  5年以上Java开发经验，优先考虑有海外信贷或类似行业经验  \n1     系统架构师/Java开发者  5年以上Java开发经验，优先考虑有海外信贷或类似行业经验  \n2               NaN                            NaN  \n3     系统架构师/Java开发者  5年以上Java开发经验，优先考虑有海外信贷或类似行业经验  \n4               NaN                            NaN  \n...             ...                            ...  \n3459            NaN                            NaN  \n3460            NaN                            NaN  \n3461            NaN                            NaN  \n3462            NaN                            NaN  \n3463            NaN                            NaN  \n\n[3464 rows x 17 columns]",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>job_id</th>\n      <th>company_id</th>\n      <th>company_name</th>\n      <th>job_title</th>\n      <th>hr_name</th>\n      <th>job_salary</th>\n      <th>annual_salary</th>\n      <th>job_description</th>\n      <th>company_brief_address</th>\n      <th>deleted</th>\n      <th>资历</th>\n      <th>学历</th>\n      <th>tags</th>\n      <th>Skills</th>\n      <th>Project</th>\n      <th>Role</th>\n      <th>Experience</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>0</th>\n      <td>1</td>\n      <td>1</td>\n      <td>慧安金科</td>\n      <td>后端开发工程师</td>\n      <td>张女士</td>\n      <td>30-40K·15薪</td>\n      <td>525.0</td>\n      <td>工作职责：\\n1、负责海外信贷业务相关系统设计、研发、迭代；\\n2、协助业务需求分析，将业务...</td>\n      <td>上海虹口区江湾</td>\n      <td>0</td>\n      <td>5-10年</td>\n      <td>本科</td>\n      <td>java</td>\n      <td>Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud...</td>\n      <td>海外信贷业务系统开发</td>\n      <td>系统架构师/Java开发者</td>\n      <td>5年以上Java开发经验，优先考虑有海外信贷或类似行业经验</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>2</td>\n      <td>2</td>\n      <td>中汇云链</td>\n      <td>Java</td>\n      <td>黄翔煊</td>\n      <td>5-10K</td>\n      <td>90.0</td>\n      <td>软件开发工程师\\n\\n岗位职责:\\n1、 负责系统开发、部署和集成，解决开发过程中的技术问题...</td>\n      <td>上海虹口区大柏树</td>\n      <td>0</td>\n      <td>1-3年</td>\n      <td>本科</td>\n      <td>java</td>\n      <td>Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud...</td>\n      <td>海外信贷业务系统开发</td>\n      <td>系统架构师/Java开发者</td>\n      <td>5年以上Java开发经验，优先考虑有海外信贷或类似行业经验</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>3</td>\n      <td>3</td>\n      <td>熵央</td>\n      <td>Java高级开发工程师</td>\n      <td>严先生</td>\n      <td>17-28K</td>\n      <td>270.0</td>\n      <td>【岗位职责】\\n1、对接产品需求，独立进行产品的概要设计、详细设计和代码实现工作\\n2、解决...</td>\n      <td>上海虹口区四川北路</td>\n      <td>0</td>\n      <td>3-5年</td>\n      <td>大专</td>\n      <td>java</td>\n      <td>NaN</td>\n      <td>NaN</td>\n      <td>NaN</td>\n      <td>NaN</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>4</td>\n      <td>4</td>\n      <td>某知名物流公司</td>\n      <td>JAVA开发</td>\n      <td>李先生</td>\n      <td>15-25K</td>\n      <td>240.0</td>\n      <td>岗位要求:\\n计算机及相关专业，大学本科以上学历，5 年以上开发经验\\n1.精通java 语...</td>\n      <td>上海</td>\n      <td>0</td>\n      <td>3-5年</td>\n      <td>本科</td>\n      <td>java</td>\n      <td>Java, Spring, MySQL, 微服务架构（Dubbo, Spring Cloud...</td>\n      <td>海外信贷业务系统开发</td>\n      <td>系统架构师/Java开发者</td>\n      <td>5年以上Java开发经验，优先考虑有海外信贷或类似行业经验</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>5</td>\n      <td>5</td>\n      <td>同威</td>\n      <td>Java高级开发工程师</td>\n      <td>傅荣斌</td>\n      <td>12-20K</td>\n      <td>192.0</td>\n      <td>1、理解架构师的职责和架构设计的目标、原则及取舍；\\n2、精通架构模式，IOC、AOP、SO...</td>\n      <td>上海虹口区四川北路</td>\n      <td>0</td>\n      <td>5-10年</td>\n      <td>本科</td>\n      <td>java</td>\n      <td>NaN</td>\n      <td>NaN</td>\n      <td>NaN</td>\n      <td>NaN</td>\n    </tr>\n    <tr>\n      <th>...</th>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n    </tr>\n    <tr>\n      <th>3459</th>\n      <td>3481</td>\n      <td>3064</td>\n      <td>易商数智</td>\n      <td>上海Java开发工程师</td>\n      <td>孙晶</td>\n      <td>10-13K</td>\n      <td>138.0</td>\n      <td>1. 熟练掌握java编程语言\\n2. 熟练使用常用的java框架，如Spring,Myba...</td>\n      <td>上海黄浦区外滩</td>\n      <td>0</td>\n      <td>5-10年</td>\n      <td>本科</td>\n      <td>java</td>\n      <td>NaN</td>\n      <td>NaN</td>\n      <td>NaN</td>\n      <td>NaN</td>\n    </tr>\n    <tr>\n      <th>3460</th>\n      <td>3482</td>\n      <td>2867</td>\n      <td>海魄</td>\n      <td>java开发工程师(中高级)</td>\n      <td>刘女士</td>\n      <td>15-20K</td>\n      <td>210.0</td>\n      <td>岗位职责：\\n1、企业内部前端及后端服务的开发；\\n 2、根据系统的功能需求和技术规格进行编...</td>\n      <td>上海黄浦区城隍庙</td>\n      <td>0</td>\n      <td>5-10年</td>\n      <td>大专</td>\n      <td>java</td>\n      <td>NaN</td>\n      <td>NaN</td>\n      <td>NaN</td>\n      <td>NaN</td>\n    </tr>\n    <tr>\n      <th>3461</th>\n      <td>3483</td>\n      <td>3065</td>\n      <td>慷泰桐</td>\n      <td>Java高级工程师/架构师</td>\n      <td>王莹</td>\n      <td>15-20K</td>\n      <td>210.0</td>\n      <td>岗位职责：\\r\\n\\r\\n1、理解业务，识别需求，负责/参与技术架构设计、重构、优化，根据业...</td>\n      <td>上海宝山区大华</td>\n      <td>0</td>\n      <td>5-10年</td>\n      <td>大专</td>\n      <td>java</td>\n      <td>NaN</td>\n      <td>NaN</td>\n      <td>NaN</td>\n      <td>NaN</td>\n    </tr>\n    <tr>\n      <th>3462</th>\n      <td>3484</td>\n      <td>3066</td>\n      <td>爱达克</td>\n      <td>CodeBeamer二次开发工程师(J10627)</td>\n      <td>李诗雯</td>\n      <td>15-20K·14薪</td>\n      <td>245.0</td>\n      <td>工作职责:\\n该职位需要提供技术解决方案，作为ALM相关活动的整体PMT解决方案的一部分。\\...</td>\n      <td>上海黄浦区外滩</td>\n      <td>0</td>\n      <td>3-5年</td>\n      <td>本科</td>\n      <td>java</td>\n      <td>NaN</td>\n      <td>NaN</td>\n      <td>NaN</td>\n      <td>NaN</td>\n    </tr>\n    <tr>\n      <th>3463</th>\n      <td>3485</td>\n      <td>2926</td>\n      <td>某500强上市公司</td>\n      <td>java后端开发工程师</td>\n      <td>盖女士</td>\n      <td>35-65K·15薪</td>\n      <td>750.0</td>\n      <td>大厂，高并发等经验优先考虑\\n1. 深度参与大模型平台的基础架构和产品化研发,并部署到多个数...</td>\n      <td>上海</td>\n      <td>0</td>\n      <td>5-10年</td>\n      <td>本科</td>\n      <td>java</td>\n      <td>NaN</td>\n      <td>NaN</td>\n      <td>NaN</td>\n      <td>NaN</td>\n    </tr>\n  </tbody>\n</table>\n<p>3464 rows × 17 columns</p>\n</div>"
     },
     "execution_count": 97,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "merged_df"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T14:44:08.813019500Z",
     "start_time": "2024-06-20T14:44:08.763011700Z"
    }
   },
   "id": "4ccf1ce634c8e27d",
   "execution_count": 97
  },
  {
   "cell_type": "code",
   "outputs": [],
   "source": [
    "combined_df_test=pd.read_csv('toyi_shanghai_java_annual_salary.csv')"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T15:58:39.695376800Z",
     "start_time": "2024-06-20T15:58:39.614980Z"
    }
   },
   "id": "6d97e3b7b865fc7d",
   "execution_count": 98
  },
  {
   "cell_type": "code",
   "outputs": [
    {
     "data": {
      "text/plain": "      job_id  company_id company_name                  job_title hr_name  \\\n0          1           1         慧安金科                    后端开发工程师     张女士   \n1          2           2         中汇云链                       Java     黄翔煊   \n2          3           3           熵央                Java高级开发工程师     严先生   \n3          4           4      某知名物流公司                     JAVA开发     李先生   \n4          5           5           同威                Java高级开发工程师     傅荣斌   \n...      ...         ...          ...                        ...     ...   \n3459    3481        3064         易商数智                上海Java开发工程师      孙晶   \n3460    3482        2867           海魄             java开发工程师(中高级)     刘女士   \n3461    3483        3065          慷泰桐              Java高级工程师/架构师      王莹   \n3462    3484        3066          爱达克  CodeBeamer二次开发工程师(J10627)     李诗雯   \n3463    3485        2926    某500强上市公司                java后端开发工程师     盖女士   \n\n      job_salary  annual_salary  \\\n0     30-40K·15薪          525.0   \n1          5-10K           90.0   \n2         17-28K          270.0   \n3         15-25K          240.0   \n4         12-20K          192.0   \n...          ...            ...   \n3459      10-13K          138.0   \n3460      15-20K          210.0   \n3461      15-20K          210.0   \n3462  15-20K·14薪          245.0   \n3463  35-65K·15薪          750.0   \n\n                                        job_description company_brief_address  \\\n0     工作职责：\\n1、负责海外信贷业务相关系统设计、研发、迭代；\\n2、协助业务需求分析，将业务...               上海虹口区江湾   \n1     软件开发工程师\\n\\n岗位职责:\\n1、 负责系统开发、部署和集成，解决开发过程中的技术问题...              上海虹口区大柏树   \n2     【岗位职责】\\n1、对接产品需求，独立进行产品的概要设计、详细设计和代码实现工作\\n2、解决...             上海虹口区四川北路   \n3     岗位要求:\\n计算机及相关专业，大学本科以上学历，5 年以上开发经验\\n1.精通java 语...                    上海   \n4     1、理解架构师的职责和架构设计的目标、原则及取舍；\\n2、精通架构模式，IOC、AOP、SO...             上海虹口区四川北路   \n...                                                 ...                   ...   \n3459  1. 熟练掌握java编程语言\\n2. 熟练使用常用的java框架，如Spring,Myba...               上海黄浦区外滩   \n3460  岗位职责：\\n1、企业内部前端及后端服务的开发；\\n 2、根据系统的功能需求和技术规格进行编...              上海黄浦区城隍庙   \n3461  岗位职责：\\r\\n\\r\\n1、理解业务，识别需求，负责/参与技术架构设计、重构、优化，根据业...               上海宝山区大华   \n3462  工作职责:\\n该职位需要提供技术解决方案，作为ALM相关活动的整体PMT解决方案的一部分。\\...               上海黄浦区外滩   \n3463  大厂，高并发等经验优先考虑\\n1. 深度参与大模型平台的基础架构和产品化研发,并部署到多个数...                    上海   \n\n      deleted     资历  学历  tags  \\\n0           0  5-10年  本科  java   \n1           0   1-3年  本科  java   \n2           0   3-5年  大专  java   \n3           0   3-5年  本科  java   \n4           0  5-10年  本科  java   \n...       ...    ...  ..   ...   \n3459        0  5-10年  本科  java   \n3460        0  5-10年  大专  java   \n3461        0  5-10年  大专  java   \n3462        0   3-5年  本科  java   \n3463        0  5-10年  本科  java   \n\n                                                   技术要求  \\\n0     Java, Spring, MySQL, 分布式中间件 (如Dubbo, Sharding-...   \n1                                 初级软件工程师，企业级应用开发，MySQL   \n2                                                   NaN   \n3     Java, JVM, MySQL, 调优, SpringCloud, Nacos, Dubb...   \n4     Java、Spring、Spring Boot、Spring Cloud、J2EE、WebA...   \n...                                                 ...   \n3459  - Java编程\\n- Spring, MyBatis, Spring Boot\\n- Sp...   \n3460  Java, SpringBoot, SpringCloud, Nacos, MyBatis,...   \n3461  JavaEE，微服务架构，设计模式，开源框架（如SpringMVC, SpringCloud...   \n3462                                                NaN   \n3463                                                NaN   \n\n                       工作领域                  角色定位  \\\n0                海外信贷业务系统开发             系统架构师/开发者   \n1                      软件开发             系统开发者/工程师   \n2                       NaN                   NaN   \n3                软件开发，微服务架构       高级Java开发者/系统架构师   \n4     企业级应用架构、微服务架构、分布式系统开发           高级架构师/首席架构师   \n...                     ...                   ...   \n3459         Java后端开发，微服务架构      高级Java开发工程师或技术专家   \n3460   企业内部系统开发，尤其是后端与微服务架构  全栈开发工程师，负责前后端服务开发与测试   \n3461         WEB应用开发，系统架构优化         技术架构师/高级开发工程师   \n3462                    NaN                   NaN   \n3463                    NaN                   NaN   \n\n                                         工作经验  \n0                   5年以上Java开发经验，熟悉微服务架构和性能调优  \n1                                   1. 系统开发经验  \n2                                         NaN  \n3              5年以上相关开发经验，供应链开发经验优先，公有云部署经验优先  \n4                  大型J2EE项目架构设计经验，大数据产品研发经验优先  \n...                                       ...  \n3459                            3年以上项目开发及维护经验  \n3460  4-8年Java Web开发经验，ERP开发经验优先，有分布式和工作流开发背景  \n3461          5年以上，3年以上Web应用开发经验，有微服务架构实践经验优先  \n3462                                      NaN  \n3463                                      NaN  \n\n[3464 rows x 17 columns]",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>job_id</th>\n      <th>company_id</th>\n      <th>company_name</th>\n      <th>job_title</th>\n      <th>hr_name</th>\n      <th>job_salary</th>\n      <th>annual_salary</th>\n      <th>job_description</th>\n      <th>company_brief_address</th>\n      <th>deleted</th>\n      <th>资历</th>\n      <th>学历</th>\n      <th>tags</th>\n      <th>技术要求</th>\n      <th>工作领域</th>\n      <th>角色定位</th>\n      <th>工作经验</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>0</th>\n      <td>1</td>\n      <td>1</td>\n      <td>慧安金科</td>\n      <td>后端开发工程师</td>\n      <td>张女士</td>\n      <td>30-40K·15薪</td>\n      <td>525.0</td>\n      <td>工作职责：\\n1、负责海外信贷业务相关系统设计、研发、迭代；\\n2、协助业务需求分析，将业务...</td>\n      <td>上海虹口区江湾</td>\n      <td>0</td>\n      <td>5-10年</td>\n      <td>本科</td>\n      <td>java</td>\n      <td>Java, Spring, MySQL, 分布式中间件 (如Dubbo, Sharding-...</td>\n      <td>海外信贷业务系统开发</td>\n      <td>系统架构师/开发者</td>\n      <td>5年以上Java开发经验，熟悉微服务架构和性能调优</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>2</td>\n      <td>2</td>\n      <td>中汇云链</td>\n      <td>Java</td>\n      <td>黄翔煊</td>\n      <td>5-10K</td>\n      <td>90.0</td>\n      <td>软件开发工程师\\n\\n岗位职责:\\n1、 负责系统开发、部署和集成，解决开发过程中的技术问题...</td>\n      <td>上海虹口区大柏树</td>\n      <td>0</td>\n      <td>1-3年</td>\n      <td>本科</td>\n      <td>java</td>\n      <td>初级软件工程师，企业级应用开发，MySQL</td>\n      <td>软件开发</td>\n      <td>系统开发者/工程师</td>\n      <td>1. 系统开发经验</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>3</td>\n      <td>3</td>\n      <td>熵央</td>\n      <td>Java高级开发工程师</td>\n      <td>严先生</td>\n      <td>17-28K</td>\n      <td>270.0</td>\n      <td>【岗位职责】\\n1、对接产品需求，独立进行产品的概要设计、详细设计和代码实现工作\\n2、解决...</td>\n      <td>上海虹口区四川北路</td>\n      <td>0</td>\n      <td>3-5年</td>\n      <td>大专</td>\n      <td>java</td>\n      <td>NaN</td>\n      <td>NaN</td>\n      <td>NaN</td>\n      <td>NaN</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>4</td>\n      <td>4</td>\n      <td>某知名物流公司</td>\n      <td>JAVA开发</td>\n      <td>李先生</td>\n      <td>15-25K</td>\n      <td>240.0</td>\n      <td>岗位要求:\\n计算机及相关专业，大学本科以上学历，5 年以上开发经验\\n1.精通java 语...</td>\n      <td>上海</td>\n      <td>0</td>\n      <td>3-5年</td>\n      <td>本科</td>\n      <td>java</td>\n      <td>Java, JVM, MySQL, 调优, SpringCloud, Nacos, Dubb...</td>\n      <td>软件开发，微服务架构</td>\n      <td>高级Java开发者/系统架构师</td>\n      <td>5年以上相关开发经验，供应链开发经验优先，公有云部署经验优先</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>5</td>\n      <td>5</td>\n      <td>同威</td>\n      <td>Java高级开发工程师</td>\n      <td>傅荣斌</td>\n      <td>12-20K</td>\n      <td>192.0</td>\n      <td>1、理解架构师的职责和架构设计的目标、原则及取舍；\\n2、精通架构模式，IOC、AOP、SO...</td>\n      <td>上海虹口区四川北路</td>\n      <td>0</td>\n      <td>5-10年</td>\n      <td>本科</td>\n      <td>java</td>\n      <td>Java、Spring、Spring Boot、Spring Cloud、J2EE、WebA...</td>\n      <td>企业级应用架构、微服务架构、分布式系统开发</td>\n      <td>高级架构师/首席架构师</td>\n      <td>大型J2EE项目架构设计经验，大数据产品研发经验优先</td>\n    </tr>\n    <tr>\n      <th>...</th>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n    </tr>\n    <tr>\n      <th>3459</th>\n      <td>3481</td>\n      <td>3064</td>\n      <td>易商数智</td>\n      <td>上海Java开发工程师</td>\n      <td>孙晶</td>\n      <td>10-13K</td>\n      <td>138.0</td>\n      <td>1. 熟练掌握java编程语言\\n2. 熟练使用常用的java框架，如Spring,Myba...</td>\n      <td>上海黄浦区外滩</td>\n      <td>0</td>\n      <td>5-10年</td>\n      <td>本科</td>\n      <td>java</td>\n      <td>- Java编程\\n- Spring, MyBatis, Spring Boot\\n- Sp...</td>\n      <td>Java后端开发，微服务架构</td>\n      <td>高级Java开发工程师或技术专家</td>\n      <td>3年以上项目开发及维护经验</td>\n    </tr>\n    <tr>\n      <th>3460</th>\n      <td>3482</td>\n      <td>2867</td>\n      <td>海魄</td>\n      <td>java开发工程师(中高级)</td>\n      <td>刘女士</td>\n      <td>15-20K</td>\n      <td>210.0</td>\n      <td>岗位职责：\\n1、企业内部前端及后端服务的开发；\\n 2、根据系统的功能需求和技术规格进行编...</td>\n      <td>上海黄浦区城隍庙</td>\n      <td>0</td>\n      <td>5-10年</td>\n      <td>大专</td>\n      <td>java</td>\n      <td>Java, SpringBoot, SpringCloud, Nacos, MyBatis,...</td>\n      <td>企业内部系统开发，尤其是后端与微服务架构</td>\n      <td>全栈开发工程师，负责前后端服务开发与测试</td>\n      <td>4-8年Java Web开发经验，ERP开发经验优先，有分布式和工作流开发背景</td>\n    </tr>\n    <tr>\n      <th>3461</th>\n      <td>3483</td>\n      <td>3065</td>\n      <td>慷泰桐</td>\n      <td>Java高级工程师/架构师</td>\n      <td>王莹</td>\n      <td>15-20K</td>\n      <td>210.0</td>\n      <td>岗位职责：\\r\\n\\r\\n1、理解业务，识别需求，负责/参与技术架构设计、重构、优化，根据业...</td>\n      <td>上海宝山区大华</td>\n      <td>0</td>\n      <td>5-10年</td>\n      <td>大专</td>\n      <td>java</td>\n      <td>JavaEE，微服务架构，设计模式，开源框架（如SpringMVC, SpringCloud...</td>\n      <td>WEB应用开发，系统架构优化</td>\n      <td>技术架构师/高级开发工程师</td>\n      <td>5年以上，3年以上Web应用开发经验，有微服务架构实践经验优先</td>\n    </tr>\n    <tr>\n      <th>3462</th>\n      <td>3484</td>\n      <td>3066</td>\n      <td>爱达克</td>\n      <td>CodeBeamer二次开发工程师(J10627)</td>\n      <td>李诗雯</td>\n      <td>15-20K·14薪</td>\n      <td>245.0</td>\n      <td>工作职责:\\n该职位需要提供技术解决方案，作为ALM相关活动的整体PMT解决方案的一部分。\\...</td>\n      <td>上海黄浦区外滩</td>\n      <td>0</td>\n      <td>3-5年</td>\n      <td>本科</td>\n      <td>java</td>\n      <td>NaN</td>\n      <td>NaN</td>\n      <td>NaN</td>\n      <td>NaN</td>\n    </tr>\n    <tr>\n      <th>3463</th>\n      <td>3485</td>\n      <td>2926</td>\n      <td>某500强上市公司</td>\n      <td>java后端开发工程师</td>\n      <td>盖女士</td>\n      <td>35-65K·15薪</td>\n      <td>750.0</td>\n      <td>大厂，高并发等经验优先考虑\\n1. 深度参与大模型平台的基础架构和产品化研发,并部署到多个数...</td>\n      <td>上海</td>\n      <td>0</td>\n      <td>5-10年</td>\n      <td>本科</td>\n      <td>java</td>\n      <td>NaN</td>\n      <td>NaN</td>\n      <td>NaN</td>\n      <td>NaN</td>\n    </tr>\n  </tbody>\n</table>\n<p>3464 rows × 17 columns</p>\n</div>"
     },
     "execution_count": 100,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "combined_df_test"
   ],
   "metadata": {
    "collapsed": false,
    "ExecuteTime": {
     "end_time": "2024-06-20T15:58:50.353074200Z",
     "start_time": "2024-06-20T15:58:50.308920200Z"
    }
   },
   "id": "add83c2dbfb0a09c",
   "execution_count": 100
  },
  {
   "cell_type": "code",
   "outputs": [],
   "source": [],
   "metadata": {
    "collapsed": false
   },
   "id": "83acb29a8007ec13"
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}
